# 构建要给多标签分类器

import torch
import torch.nn as nn
# 构建数据集
from torchvision import transforms
from torchvision import datasets
from torch.utils.data import DataLoader
# 优化器
import torch.optim as optim

# batch 大小
batch_size = 64
# 数据转化
transform = transforms.Compose([
    # 转化为tensor
    transforms.ToTensor(),
    # 归一化，这个数是利用这个数据集计算出来的，可以提前手动计算，也可以使用程序自动计算
    transforms.Normalize((0.1307,), (0.3081,))
])

"""
1、准备数据集，包括训练集和测试集
    1.1、指定数据集 datasets
    1.2、加载数据 DatasetLoader
2、定义网络模型结构，继承nn.Module
3、定义损失函数和优化器
4、使用数据训练模型
"""

# root 指定下载位置，train 是否是训练集， download 如果数据集不存在是否下载，transform 转换方式
train_dataset = datasets.MNIST(root='../datasets/mnist/',
                               train=True,
                               download=True,
                               transform=transform)
# 数据加载器，dataset 加载的数据集，batch_size 训练时你 batch 的大小，shuffle 是否打乱顺序
train_loader = DataLoader(dataset=train_dataset,
                          batch_size=batch_size,
                          shuffle=True,
                          num_workers=2)
# 定义测试集和加载测试集数据
test_dataset = datasets.MNIST(root='../dataset/mnist/',
                              train=False,
                              download=True,
                              transform=transform)
test_loader = DataLoader(test_dataset,
                         # 测试集通常不需要打乱顺序
                         shuffle=False,
                         batch_size=batch_size)


# 2、设计网络模型结构
class Net(nn.Module):
    def __init__(self):
        """
        初始化参数
        """
        super(Net, self).__init__()
        self.l1 = nn.Linear(784, 512)
        self.l2 = nn.Linear(512, 256)
        self.l3 = nn.Linear(256, 128)
        self.l4 = nn.Linear(128, 64)
        self.l5 = nn.Linear(64, 10)
        self.activate = nn.ReLU()

    def forward(self, x):
        # 原本的图片是一个 1*28*28 的特征矩阵，这里转化为一个 n*784 的特征矩阵，这里设置-1，则对应的值会自动计算
        x = x.view(-1, 784)
        x = self.activate(self.l1(x))
        x = self.activate(self.l2(x))
        x = self.activate(self.l3(x))
        x = self.activate(self.l4(x))
        # 这里最后一层不需要激活，这里使用线性函数变换之后直接输入到交叉熵函数里面计算损失，交叉熵损失函数
        return self.l5(x)


# 模型实例
model = Net()

# 3、定义损失函数和优化器
# 定义损失函数，使用交叉熵损失
criterion = torch.nn.CrossEntropyLoss()
# 优化器，传入需要学习的参数、学习率、是否加入动量，加入动量可以加快收敛速度，有一定摆脱局部最优的能力，一定程度上缓解了没有动量的时候的问题
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)


# 定义训练函数
def train(epoch):
    # 每一轮的损失
    running_loss = 0.0
    # 在这个 epoch 内遍历所有样本，每个 batch 更新一次参数
    for batch_idx, data in enumerate(train_loader, 0):
        # 输入数据、标签
        inputs, target = data
        # 梯度清 0
        optimizer.zero_grad()
        # forward + backward + update
        outputs = model(inputs)
        loss = criterion(outputs, target)
        loss.backward()
        optimizer.step()
        # 对这个 batch 内所有的样本求和
        running_loss += loss.item()
        # 每300个 batch 打印一次
        if batch_idx % 300 == 299:
            print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx + 1, running_loss / 300))
            running_loss = 0.0


# 4、训练和测试
def test():
    # 准确率
    correct = 0
    total = 0
    # with torch.no_grad():该语句下的内容不再追踪梯度，不记录梯度
    with torch.no_grad():
        for data in test_loader:
            images, labels = data
            outputs = model(images)
            # 这个函数返回的是两个值，第一个值是具体的value（我们用下划线_表示），第二个值是value所在的index（也就是predicted，预测的标签，因为这里最大值的索引就是标签）
            _, predicted = torch.max(outputs.data, dim=1)
            # print(_, predicted)
            total += labels.size(0)
            # 这里 (predicted == labels).sum().item() 返回两个数组中相同的下标的元素个数，就是预测值和标签值相等的个数
            correct += (predicted == labels).sum().item()
        print('Accuracy on test set: %d %%' % (100 * correct / total))


if __name__ == '__main__':
    for epoch in range(10):
        train(epoch)
        test()
